Theo Tân Đường Thư, phần Tông thất thế hệ biểu thì tổ tiên của Lý Quảng chính là Lão Tử, người được cho là đã sáng lập ra Đạo giáo.[2] Còn theo Sử ký Tư Mã Thiên, Lý Quảng là con cháu của Lý Tín, danh tướng có công trong việc thống nhất Trung Quốc dưới thời nhà Tần.[3] Ban đầu gia đình ông sinh sống ở vùng Hòe Lý, sau dời đến huyện Thanh Kỉ. Từ nhỏ Lý Quảng đã được học bắn cung và học được biệt tài này.